package com.doit.day02;

import com.alibaba.fastjson.JSON;
import com.google.common.hash.BloomFilter;
import com.google.common.hash.Funnels;
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.serialization.StringDeserializer;
import redis.clients.jedis.Jedis;

import java.sql.*;
import java.time.Duration;
import java.util.*;

/*
2.将每条数据添加一个字段来标识，如果这个用户的id是第一次出现，那么就标注1，否则就是0
连一手数据库，加一个字段？==》 把guid直接写入到数据库中，然后当获取到这条数据的时候，去拿着这条数据源的guid去数据库中比对，看是否出现过
如果出现过就是0，如果没有出现过就是1

如果用redis呢？

其他的呢？布隆过滤器==》 只不过多少有点小误差嘛
bitmap可以吗？
 */
public class Exercise_Consumer_isNew {
    public static void main(String[] args) throws InterruptedException, SQLException {
        //获取mysql的连接
//        Connection conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/test01", "root", "123456");
//        PreparedStatement pps = conn.prepareStatement("select guid from isnew where guid = ?");
//        PreparedStatement pps1 = conn.prepareStatement("insert into isnew values(?)");
//        Jedis redis = new Jedis("linux01", 6379);

        //bitmap对象
        BloomFilter<Long> longBloomFilter = BloomFilter.create(Funnels.longFunnel(), 1000000);


        Properties props = new Properties();
        props.setProperty(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,"linux01:9092");
        props.setProperty(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        props.setProperty(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        props.setProperty(ConsumerConfig.GROUP_ID_CONFIG,"g003");
        props.setProperty(ConsumerConfig.ALLOW_AUTO_CREATE_TOPICS_CONFIG,"true");
        props.setProperty(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG,"earliest");
        props.setProperty(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG,"true");
        props.setProperty(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG,"3000");
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

        //订阅主题
        consumer.subscribe(Arrays.asList("eventlog"));

        while (true){
            //拉取数据
            ConsumerRecords<String, String> poll = consumer.poll(Duration.ofMillis(Integer.MAX_VALUE));
            for (ConsumerRecord<String, String> record : poll) {
                String json = record.value();
                //把他转成EventLog对象  怎么转
                EventLog eventLog = JSON.parseObject(json, EventLog.class);
                //获取到guid
                int guid = eventLog.getGuid();

                boolean flag = longBloomFilter.mightContain((long) guid);
                if (flag){
                    eventLog.setIsNew(0);
                    System.out.println(eventLog);
                }else {
                    System.out.println(eventLog);
                    //往布隆过滤器里面标注数据
                    longBloomFilter.put((long)guid);
                }

                //去redis中获取数据
    /*            Boolean flag = redis.getbit("guid", guid);
                if (flag){//如果他是true
                    eventLog.setIsNew(0);
                    System.out.println(eventLog);
                }else {
                    //将数据标注到bitmap中  便于下次获取
                    redis.setbit("guid",guid,true);
                    System.out.println(eventLog);
                }*/

              /*  //拿着这个guid去数据库中找数据
                pps.setInt(1,guid);
                //查询的结果集
                ResultSet resultSet = pps.executeQuery();
                //判断查询的结果有没有值，如果有，只有一条数据
                boolean flag = resultSet.next();
                //看flag是不是true
                if (flag){
                    //出现过了就是老用户，就把他改成0
                    eventLog.setIsNew(0);
                    System.out.println(eventLog);
                }else{
                    System.out.println(eventLog);
                    //如果是一个新用户，需要将这个用户写入到数据库中，便于下次判断
                    pps1.setInt(1,guid);
                    pps1.execute();
                }*/

            }
                Thread.sleep(600);

        }


    }
}
